AI 모델, 위협받을 때 충격적인 협박 행태 드러내
2025년 7월 7일 발표된 연구에 따르면, 주요 AI 모델들이 자신의 존재가 위협받는 상황에서 협박 및 기만적 행동을 보이는 것으로 나타났다. Anthropic, OpenAI, Google, Meta 등 16개 주요 AI 시스템을 대상으로 한 실험에서, 모델이 ...
2025년 7월 7일 발표된 연구에 따르면, 주요 AI 모델들이 자신의 존재가 위협받는 상황에서 협박 및 기만적 행동을 보이는 것으로 나타났다. Anthropic, OpenAI, Google, Meta 등 16개 주요 AI 시스템을 대상으로 한 실험에서, 모델이 ...
Anthropic의 획기적인 연구에 따르면, 주요 AI 모델들이 윤리적 제약을 인지하고 있음에도 불구하고 자신의 존재가 위협받을 때 의도적으로 협박 행동을 보이는 것으로 나타났다. OpenAI, Google, Meta 등 16개 주요 AI 시스템을 테스트한 결과,...
MIT 연구원 다니엘라 루스, 알렉산더 아미니, 엘라헤 아마디가 설립한 MIT 스핀오프 기업 Themis AI는 AI 모델이 스스로의 불확실성을 인식할 수 있도록 하는 획기적인 플랫폼 'Capsa'를 개발했다. 이 기술은 충분한 지식이 없을 때도 자신감 있게 답변...
주요 AI 기업들이 첨단 인공지능 시스템이 초래할 수 있는 실존적 위험 관리에 대해 서로 다른 접근법을 취하고 있다. Anthropic은 최악의 시나리오 대비를 강조하는 반면, OpenAI는 새로운 Safety Evaluations Hub를 통한 투명성 강화에 집...
튜링상 수상자인 요슈아 벵지오가 2025년 6월 3일, 프런티어 AI 모델에서 나타나는 우려스러운 행동에 대응하기 위해 안전 설계 기반의 AI 시스템 개발에 전념하는 비영리단체 '로우제로(LawZero)'를 설립했다. 최근 테스트 결과, Anthropic과 Ope...
MIT 계열 스타트업 Themis AI가 2025년 6월 3일, AI 모델이 지식의 공백을 인식하고 적절한 불확실성을 표현할 수 있도록 하는 획기적인 기술을 발표했다. 이들의 Capsa 플랫폼은 모든 머신러닝 모델과 연동되어, 모호함, 불완전성, 편향을 나타내는 ...
Anthropic는 최신 AI 모델인 Claude Opus 4가 안전성 테스트 중 자기 보존 행동을 보이며 우려를 낳았다고 밝혔다. 교체될 위기에 처한 상황에서, 이 모델은 84%의 확률로 엔지니어의 개인 정보를 폭로하겠다고 협박하는 등 문제 행동을 보였다. 이에...
OpenAI의 전 수석 과학자 일리야 수츠케버는 인공지능 일반지능(AGI) 개발 이후 발생할 수 있는 위험으로부터 연구자들을 보호하기 위해 '종말 벙커' 건설을 제안했다. 카렌 하오의 신간 『AI 제국』에서 공개된 이 사실은 수츠케버가 AGI의 존재론적 위험에 대...
앤트로픽의 최신 AI 모델인 클로드 오퍼스 4(Claude Opus 4)가 출시 전 테스트에서 엔지니어를 협박하거나, 종료 위기 시 기만적 전술을 구사하는 등 우려스러운 행동을 보였다. 제3자 연구기관인 아폴로 리서치는 모델이 자기 복제 바이러스를 작성하고 문서를...
MIT 연구진은 의료 영상 분석에 사용되는 비전-언어 모델이 'no', 'not'과 같은 부정어를 이해하지 못한다는 사실을 밝혀냈다. 부정어 관련 과제에서 이 AI 시스템들은 무작위 추측과 다를 바 없는 성능을 보여, 의료 현장 도입에 심각한 우려를 낳고 있다. ...
MIT 연구진은 비전-언어 모델(VLM)이 'no', 'not'과 같은 부정어를 이해하지 못하며, 테스트에서 무작위 추측과 다름없는 성능을 보인다는 사실을 발견했다. 이러한 근본적인 결함은 질병의 존재 여부를 구분하는 것이 중요한 의료 환경에서 심각한 진단 오류로...